Pada 1981, Harris selaku Ketua Menteri Sabah telah memecat dua menterinya kerana cuba menjatuhkan beliau. Mereka ialah Datu Hamid bin Tun Mustapha (Menteri Kebudayaam Belia dan Sukan Sabah) dan Nursuadah binti Haji Basah (Timbalan Menteri Kebajikan Masyarakat Sabah). Datu Hamid adalah anak Tun Datu Mustapha bin Harun, bekas Ketua Menteri Sabah dan Presiden USNO . Ketika itu wujud 'Kumpulan 1722'. [9]

Harris menafikan telah memberikan tanah 323750 hektar kepada penduduk Muslim Sabah . Pada 1982 telah ada ura-ura menggantikan Harris sebagai Ketua Menteri Sabah. Calon yang layak ialah James Ongkili (Timbalan Ketua Menteri Sabah) atau Datuk Haji Mohamad Noor Mansor (Menteri Kawangan, Perancangan dan Pembangunan Sabah). James Ongkili adalah bekas pensyarah Universiti Malaya , dari kaum Kadazan dan rapat dengan Timbalan Perdana Menteri Malaysia ,Datuk Musa Hitam.[10]

Tahun 1984 , Datuk Joseph Pairin Kitingan dan ramai pemimpin Kadazan lain telah keluar dari BERJAYA dan membentuk Parti Bersatu Sabah (PBS). Harris cuba mengemukakan undang-undang anti lompat parti tetapi dihalang kerana bertentangan dengan hak asasi manusia.

Dalam Pilihan raya negeri Sabah 1985 pada 20-21 April 1985 , PBS menewaskan Parti Berjaya . Berjaya hanya menang 6 dari 48 kerusi DUN Sabah. 2 ahli yang menang pula melompat menyertai PBS ialah ; Hiew Ming Kong (Seri Tanjung) dan ; Haji Abdul Malek Chua (Kuamut). Harris sendiri tewas kepada Datuk Kadoh Agundong di DUN Tenom . Kadoh Agundong adalah Menteri Perumahan dan Kerajaan Tempatan Sabah. Pada 1 Mei 1985, Harris Salleh menemui Perdana Menteri Malaysia , Dr Mahathir Mohamad di Seri Perdana bagi menjelaskan situasi politik Sabah dan punca kekalahan Berjaya. Turut serta ialah Datuk Ahmad Shah Hussein Tambakau (Timbalan Menteri Wilayah Persekutuan dan Ahli Parlimen Keningau) dan Sabdin Ghani (Setiausaha politik Harris).[11]